První písemná zmínka pochází z roku 1368, kdy se majitelem stal Boček z Kunštátu. V roce 1374 panství koupili páni z Cimburka, kolem roku 1400 se vrátilo do majetku pánů z Kunštátu. V roce 1447 získali Bystřici páni z Landštejna a koncem století páni z Hustopeč. V roce 1555 panství koupili páni z Víckova. V roce 1622 obdrželi bystřické panství jako pobělohorskou konfiskaci Lobkovicové. V roce 1650 Bystřici koupil Jan hrabě z Rottalu. Posledními majiteli byli od roku 1804 Jan Nepomuk hrabě Wengerský a od roku 1827 Loudonové.